尽管计算高昂和沟通成本,牛顿型方法仍然是分布式培训的吸引人选择,因为它们对不良条件的凸问题进行了稳健性。在这项工作中,我们研究了通信压缩和曲率信息的聚合机制,以降低这些成本,同时保留理论上优越的局部收敛保证。我们证明了Richtarik等人最近开发的三点压缩机(3PC)类。 [2022]对于梯度交流也可以推广到Hessian通信。该结果开辟了各种各样的沟通策略,例如承包压缩}和懒惰的聚合,可用于压缩过高的成本曲率信息。此外,我们发现了几种新的3PC机制,例如自适应阈值和Bernoulli聚集,这些机制需要减少通信和偶尔的Hessian计算。此外,我们扩展和分析了双向通信压缩和部分设备参与设置的方法,以迎合联合学习中应用的实际考虑。对于我们的所有方法,我们得出了与局部无关的局部线性和/或超线性收敛速率。最后,通过对凸优化问题进行广泛的数值评估,我们说明我们的设计方案与使用二阶信息相比,与几个关键基线相比,我们的设计方案达到了最新的通信复杂性。
translated by 谷歌翻译